Mejorar las prestaciones del prefetcher utilizando técnicas de deep learning

[ES] Recientemente ha habido un gran incremento de aplicaciones de las redes neuronales gracias a nuevas técnicas de aprendizaje profundo (deep learning), un nuevo tipo de aprendizaje automático que ha sido posible gracias al incremento de la capacidad de cómputo y del uso de redes neuronales multicapa, las cuales actúan como aproximadores universales que permiten modelar relaciones no lineales entre datos de entrada y salida. En este proyecto se pretenden aprovechar las redes neuronales y el aprendizaje profundo para predecir qué configuración de la prebúsqueda maximiza las prestaciones de un sistema ejecutando aplicaciones. De esta manera, será posible establecer un modelo basado en redes neuronales que prediga la configuración del prefetcher más adecuada para cada aplicación.[CA] Recentment hi ha hagut un gran increment d’aplicacions de les xarxes neuronals gràcies a noves tècniques d’aprenentatge profund (deep learning), un nou tipus d’aprenentatge automàtic que ha estat possible gràcies a l’augment de la capacitat de còmput i de l’ús de xarxes neuronals multicapa, les quals actuen com aproximadors universals que permeten modelar relacions no lineals entre dades d’entrada i sortida. En aquest projecte es pretén utilitzar les xarxes neuronals i l’aprenentatge profund per predir quina configuració de la prebúsqueda maximitza les prestacions del sistema executant aplicacions. D’aquesta manera, serà possible establir un model basat en xarxes neuronals que prediga la configuració del prefetcher més adequada per a cada aplicació.[EN] Recently there has been a large increase in applications of neural networks thanks to new deep learning techniques, a new type of machine learning that has been possible thanks to the increase in computing capacity and the use of multilayer neural networks, which act as universal approximators that allow modeling nonlinear relationships between input and output data. This project aims to use neural networks and deep learning to predict which pre-search configuration maximizes system performance by running applications. In this way, it will be possible to establish a model based on neural networks that predicts the most appropriate prefetcher configuration for each application.Lurbe Sempere, M. (2019). Mejorar las prestaciones del prefetcher utilizando técnicas de deep learning. http://hdl.handle.net/10251/127718TFG

DeepP: Deep Learning Multi-Program Prefetch Configuration for the IBM POWER 8

[EN] Current multi-core processors implement sophisticated hardware prefetchers, that can be configured by application (PID),to improve the system performance. When running multiple applications, each application can present different prefetch requirements,hence different configurations can be used. Setting the optimal prefetch configuration for each application is a complex task since itdoes not only depend on the application characteristics but also on the interference at the shared memory resources (e.g. memorybandwidth). In his paper, we proposeDeepP, a deep learning approach for the IBM POWER8 that identifies at run-time the bestprefetch configuration for each application in a workload. To this end, the neural network predicts the performance of each applicationunder the studied prefetch configurations by using a set of performance events. The prediction accuracy of the network is improvedthanks to a dynamic training methodology that allows learning the impact of dynamic changes of the prefetch configuration onperformance. At run-time, the devised network infers the best prefetch configuration for each application and adjusts it dynamically.Experimental results show that the proposed approach improves performance, on average, by 5,8%, 6,7%, and 15,8% compared tothe default prefetch configuration across different 6-, 8-, and 10-application workloads, respectively.This work was supported in part by Ministerio de Ciencia, Innovacion y Universidades and the European ERDF under Grant RTI2018-098156-B-C51, in part by Generalitat Valenciana under Grant AICO/2021/266, and in part by Ayudas Contratos predoctorales UPV -subprograma 1 (PAID-01-20). The work of Josue Feliu was supported by a Juan de la Cierva Formacion Contract under Grant FJC2018-036021-I.Lurbe-Sempere, M.; Feliu-Pérez, J.; Petit Martí, SV.; Gómez Requena, ME.; Sahuquillo Borrás, J. (2022). DeepP: Deep Learning Multi-Program Prefetch Configuration for the IBM POWER 8. IEEE Transactions on Computers. 71(10):2646-2658. https://doi.org/10.1109/TC.2021.313999726462658711

DeepP: Deep Learning Multi-Program Prefetch Configuration for the IBM POWER 8

[ES] Los procesadores de altas prestaciones más modernos integran prefetchers hardware muy complejos, en los que seleccionar la configuración para que éste obtenga las mejores prestaciones se convierte en una tarea compleja. Adicionalmente, en cargas de trabajo que consisten en múltiples aplicaciones que se ejecutan concurrentemente estas tareas se complican aún más. Esto se debe principalmente a la compartición de los recursos compartidos dentro del procesador (especialmente el ancho de banda de la memoria principal). Recientemente ha habido un aumento notable en las aplicaciones de redes neuronales gracias a las nuevas técnicas de aprendizaje profundo, un nuevo tipo de aprendizaje automático que ha sido posible gracias al aumento de la capacidad de cómputo y el uso de redes neuronales multicapa, que actúan como aproximadores universales que permiten modelar relaciones no lineales entre datos de entrada y salida. En este estudio se pretende emplear las técnicas mencionadas de redes neuronales para predecir dinámicamente (en tiempo de ejecución) la mejor configuración del prefecher para obtener las máximas prestaciones en cargas multiprograma, empleando un procesador IBM POWER8 que tiene un prefetcher con un elevado (2 elevado a 25) configuraciones posibles.[EN] The most modern high-performance processors integrate very complex hardware prefetchers, in which selecting the configuration to obtain the best performance becomes a complex task. Additionally, in workloads consisting of multiple applications running concurrently these tasks are further complicated. This is mainly due to the sharing of shared resources within the processor (especially the bandwidth of main memory). Recently there has been a notable increase in neural network applications thanks to new deep learning techniques, a new type of machine learning that has been made possible by increased computing power and the use of multilayer neural networks, which act as universal approximators that allow you to model nonlinear relationships between input and output data. This study aims to use the aforementioned neural network techniques to dynamically predict (at runtime) the best configuration of the prefecher to obtain maximum performance in multiprogram loads, using an IBM POWER8 processor that has a prefetcher with a high (2 high to 25) possible configurations.[CA] Els processadors d’altes prestacions més moderns integren prefetchers hardware molt complexos, en els quals seleccionar la configuració que obtinga les millors prestacions es converteix en una tasca complexa. Adicionalment, en càrregues de treball que consisteixen de múltiples aplicacions que s’executen concurrentment, la configuració del prefetch és encara més complicada (la millor configuració de prebúsqueda per a cada aplicació és diferent). Això es deu principalment a la compartició dels recursos compartits dins el processador (especialment l’ample de banda de la memòria principal). D’altra banda, recentment, hi ha hagut un augment notable en les aplicacions de xarxes neuronals gràcies a les tècniques d’aprenentatge profund, un nou tipus d’aprenentatge automàtic que ha estat possible gràcies a l’augment de la capacitat de còmput i l’ús de xarxes neuronals multicapa, que actuen com aproximadors universals que permeten modelar relacions no lineals entre dades d’entrada i sortida. En aquestquest estudi es pretén emprar les tècniques esmentades de xarxes neuronals abans esmentades per predir dinàmicament (en temps d’execució) la millor configuració del prefetch per a cada aplicació en càrregues multiprograma per obtenir el màxim rendiment, utilitzant un processador IBM POWER8 que, a dia d’avui, té un dels prefetchers més sofisticats disponibles al mercat de processadors.Lurbe Sempere, M. (2020). DeepP: Deep Learning Multi-Program Prefetch Configuration for the IBM POWER 8. http://hdl.handle.net/10251/150801TFG